Tên thật của Jean Harlow là Harlean Harlow Carpenter, sinh tại Kansas, Missouri, Mỹ. Cha cô, ông Mont Clair Carpenter (1877-1974) là một bác sĩ nha khoa. Mẹ cô, bà Jean Poe Carpenter là con gái của một nhà môi giới bất động sản giàu có. Tuy nhiên, cuộc hôn nhân của bố mẹ Harlow lại không hạnh phúc.

Harlean còn được gọi là "Baby", cái tên này về sau đã gắn bó với cô suốt cuộc đời. Cô được biết đến lúc mới 5 tuổi, khi tham gia Miss Barstow's Finishing School for Girls ở Kansas. Vì biết mẹ mình có một cuộc hôn nhân không hạnh phúc nên về sau dù đã trở thành một minh tinh nổi tiếng, Harlean vẫn luôn gần gũi với mẹ. Và mẹ cô cũng luôn chăm sóc và bảo vệ con gái. Năm 1922, bà Jean đã đệ đơn ly hôn cùng với việc đòi quyền chăm sóc Harlean và đã được chấp thuận.

Năm 1923, bà Jean cùng Harlean chuyển đến Hollywood với mong muốn trở thành một diễn viên. Khi ấy bà đã 34 tuổi, quá già để bắt đầu sự nghiệp diễn xuất - việc thường được giao cho những cô gái trẻ. Harlean học tại trường Hollywood dành cho nữ và đã gặp được Douglas Fairbanks, Jr., Joel McCrea, và Irene Mayer Selznick. Tài chính cạn kiệt, Harlean bỏ học năm 1925, bà Jean trở về Kansas và ông ngoại cô bắt ép mẹ cô phải quay về nhà nếu không sẽ đoạn tuyệt quan hệ. Vài tuần sau đó, ông ngoại đã gửi Harlean đến trại Cha-Ton-Ka ở Michigamme, Michigan, khi đó cô đã bị sốt tinh hồng nhiệt. Bà Jean biết chuyện bèn đến Michigan nhưng không thể gặp được con gái mình.